DStore : An in - memory document - oriented store

As a result of continuous innovation in hardware technology, computers are made more and more powerful than their prior models. Modern servers nowadays can possess large main memory capability that can size up to 1 Terabytes (TB) and more. As memory accesses are at least 100 times faster than disk, keeping data in main memory becomes an interesting design principle to increase the performance of data management systems. We design DStore, a document-oriented store residing in main memory to fully exploit high-speed memory accesses for high performance. DStore is able to scale up by increasing memory capability and the number of CPU-cores rather than scaling horizontally as in distributed data-management systems. This design decision favors DStore in supporting fast and atomic complex transactions, while maintaining high throughput for analytical processing (read-only accesses). This goal is (to our best knowledge) not easy to achieve with high performance in distributed environments. DStore is built with several design principles: single threaded execution model, parallel index generations, delta-indexing and bulk updating, versioning concurrency control and trading freshness for performance of analytical processing. Key-words: In-memory, DStore, NoSQL, vertical scaling, document-oriented store, versioning ∗ ENS Cachan, Rennes, France † Microsoft Research, Cambridge, United Kingdom ‡ INRIA, Rennes, France ha l-0 07 66 21 9, v er si on 1 17 D ec 2 01 2 DStore : un système de stockage orienté documents résidant en mémoire vide Résumé : À la suite de l’innovation continue dans la technologie du matériel, les ordinateurs sont de plus en plus puissants que leurs modèles précédents. Les serveurs modernes de nos jours possèdent une grande capacité de mémoire vide dont la taille est jusqu’à 1 téra-octets (To) et plus. Puisque les accès en mémoire vide sont au moins 100 fois plus rapide que sur le disque dur, conserver les données dans la mémoire vide devient un principe de conception intéressant pour augmenter la performance des systèmes de gestion des données. Nous désignons DStore, un stockage orienté documents résidant en mémoire vide pour tirer parti de la haute vitess des accès en mémoire vide. DStore peut se mettre à l’échelle en augmentant la capacité de mémoire vide et le nombre de cœurs de CPU au lieu de faire mettre à l’échelle horizontalement comme dans les systèmes de gestion de données répartis. Cette décision de conception favorise DStore à soutenir des transactions complexes en assurant la rapidité et l’atomicité, tout en conservant un haut débit élevé pour le traitement analytique (seulement des lectures). Mots-clés : DStore, NoSQL, Scalabilité verticale, stockage orienté documents, versionage, mémoire vide ha l-0 07 66 21 9, v er si on 1 17 D ec 2 01 2 DStore: An in-memory document-oriented store 3